Discovering learning processes using inductive miner: A case study with learning management systems (LMSs)

Resumen tomado de la publicaciónDescubriendo procesos de aprendizaje aplicando Inductive Miner: un estudio de caso en Learning Management Systems (LMSs). Antecedentes: en la minería de procesos con datos educativos se utilizan diferentes algoritmos para descubrir modelos, sobremanera el Alpha Miner, el Heuristic Miner y el Evolutionary Tree Miner. En este trabajo proponemos la implementación de un nuevo algoritmo en datos educativos, el denominado Inductive Miner. Método: hemos utilizado datos de interacción de 101 estudiantes universitarios en una asignatura de grado desarrollada en la plataforma Moodle 2.0. Una vez prepocesados se ha realizado la minería de procesos sobre 21.629 eventos para descubrir los modelos que generan los diferentes algoritmos y comparar sus medidas de ajuste, precisión, simplicidad y generalización. Resultados: en las pruebas realizadas en nuestro conjunto de datos el algoritmo Inductive Miner es el que obtiene mejores resultados, especialmente para el valor de ajuste, criterio de mayor relevancia en lo que respecta al descubrimiento de modelos. Además, cuando ponderamos con pesos las diferentes métricas seguimos obteniendo la mejor medida general con el Inductive Miner. Conclusiones: la implementación de Inductive Miner en datos educativos es una nueva aplicación que, además de obtener mejores resultados que otros algoritmos con nuestro conjunto de datos, proporciona modelos válidos e interpretables en términos educativos.Universidad de Oviedo. Biblioteca de Psicología; Plaza Feijoo, s/n.; 33003 Oviedo; Tel. +34985104146; Fax +34985104126; [email protected]

Applying data mining to discover common learning routes in Moodle

En este artículo, aplicamos técnicas de minería de datos para descubrir rutas de aprendizaje frecuentes. Hemos utilizado datos de 84 estudiantes universitarios, seguidos en un curso online usando Moodle 2.0. Proponemos agrupar a los estudiantes, en primer lugar, a partir de los datos de una síntesis de uso de Moodle y/o las calificaciones finales de los alumnos en un curso. Luego, usamos los datos de los logs de Moodle sobre cada cluster/grupo de estudiantes separadamente con el fin de poder obtener más específicos y precisos modelos de procesos del comportamiento de los estudiantes.In this paper, we apply techniques data mining to discover common learning routes. We have used data from 84 undergraduate college students who followed an online course using Moodle 2.0. We propose to group students firstly starting from data about Moodle’s usage summary and/or the students’ final marks in the course. Then, we use data from Moodle’s logs about each cluster/group of students separately in order to be able to obtain more specific and accurate process models of students’ behaviour

Analisys of students’ attention level in classroom using NeuroSky’s MindWave Mobile

Este artículo describe un software en Android específico para el dispositivo NeuroSky’s MindWave Mobile, con el que poder medir el nivel de atención de los estudiantes de grado en informática durante las sesiones tradicionales de clases teóricas y prácticas. Utilizando este software se podrá monitorizar a un grupo de alumnos que portarán el dispositivo en sus cabezas como si fueran unos típico auriculares de escuchar música. El software específico desarrollado irá recogiendo en tiempo real la información sobre el nivel de atención directamente desde el propio teléfono móvil de alumno. A partir de esta información los profesores pueden analizar y determinar: en que sesiones los alumnos han mostrado más o menos atención, en que momentos de cada clase muestran más o menos atención, que transparencias o contenidos son en las que muestran más o menor atención, que comentarios producen mayor atención o menor atención en clase, que alumnos muestran más atención en teoría o en práctica, etc. y por tanto se podrán determinar multitud de posibles acciones para intentar aumentar el nivel de atención de los alumnos durante sus clases.This paper describes a specific Android software to the NeuroSky’s MindWave Mobile device in order to measure the students’ attention level during the traditional theory and practical classroom sessions. Using this software we can monitor to a group of students carried out the device in their heads as a typical headphones. This software will gather on real time all the information about the attention level directly on the smartphone of each student. Starting from this information, instructors can analyse and determine in which sessions the students has shown more or less attention, in which slides or contents has shown more or less attention, which comments in classroom generate a higher attention, which students show a higher attention in theory or practical sessions, etc. and so, they can determine some possible actions in order to try to increase the attention level in classroom

Improving the discovery of educational process mining models by grouping interaction data with Moodle platform

El desarrollo de la integración entre tecnología y sistemas de aprendizaje, nos permiten capturar todos las acciones que realizan los estudiantes cuando interactúan con los entornos de aprendizaje virtuales. Estas plataformas virtuales de enseñanza almacenan todas las actividades en ficheros o bases de datos que, procesados correctamente, pueden ofrecer información muy útil para la toma de decisiones y responder cuestiones del profesorado en aras de mejorar la calidad del proceso de enseñanza-aprendizaje. Con el objetivo de entender los patrones o rutas seguidas por los estudiantes durante el proceso de aprendizaje, las técnicas de minería de datos en educación están siendo utilizadas de manera exponencial sobre los registro de eventos de estas plataformas. En esta tesis utilizamos técnicas de minería de procesos en educación en sistemas de gestión de aprendizaje, en concreto Moodle, una disciplina emergente y fuertemente relacionada con la minería de datos en educación. Actualmente, Moodle no proporciona herramientas de visualización específicas de los datos generados por los estudiantes que permitan a los educadores entender esta gran cantidad de información, y tomar consciencia de lo que está pasando durante el proceso de aprendizaje. Por tanto, el objetivo general de esta tesis ha sido descubrir modelos de procesos sobre la interacción de los estudiantes, a partir de los registros de eventos generados por los estudiantes en la plataforma Moodle y que sean generales, visuales, fiables y fáciles de interpretar. Para lograr esta meta, en primer lugar, realizamos un estudio de búsqueda bibliografía sobre minería de procesos en educación. Una vez realizado un estado del arte, propusimos una codificación de alto nivel de los eventos de bajo nivel que proporciona la plataforma Moodle acerca de la interacción de los estudiantes. Además, agrupamos y dividimos los datos de los estudiantes en base a diferentes criterios (nota final y temas). Finalmente, comparamos los diferentes algoritmos de minería de procesos utilizados en educación en base a medidas de calidad. Los conjuntos de datos utilizados proceden de estudiantes de grado de una universidad del norte de España, a los cuales se les han aplicado varios algoritmos de descubrimiento de minería de procesos junto con diferentes metodologías basadas en técnicas de agrupamiento. Los algoritmos de descubrimiento utilizados son el Alpha Miner, Heuristic Miner, Evolutionary Tree Miner e Indutive Miner. Las metodologías de agrupamiento usadas se hacen de forma manual (por nota y por temas) y automática (variables relacionadas con la interacción de los estudiantes en Moodle). Asimismo, realizamos experimentos agrupando por temas para poder analizar más exhaustivamente el comportamiento de los estudiantes y utilizamos una codificación de alto nivel con cinco etiquetas con el objetivo de conseguir modelos más comprensibles de acuerdo con los principios teóricos de aprendizaje autoregulado. La herramienta de investigación utilizada para nuestras investigaciones ha sido ProM. Al realizar el estado del arte sobre la minería de procesos en educación conseguimos conocer cuáles eran los algoritmos y herramientas más utilizadas y con mejores resultados. Se observó que los algoritmos Alpha Miner, Heuristic Miner y Fuzzy Miner eran los algoritmos más utilizados para descubrir modelos de aprendizaje, concretamente Heurisitc Miner era el que mejores resultados mostraba. Posteriormente, descubrimos que con el nuevo algoritmo Inductive Miner se podían obtener mejores resultados que con estos algoritmos tradicionales, incluido Heurisitc Miner. Asimismo, en nuestras investigaciones propusimos, con éxito, diferentes tipos de agrupamientos (manual y automático) para mejorar los modelos de minería de procesos en educación y, al mismo tiempo, optimizar el rendimiento (métricas) y la comprensibilidad (tamaño) de los modelos. Además, se realizaron las pruebas por temas, y conseguimos analizar en mayor profundidad el comportamiento de los estudiantes. Con esta forma de dividir nuestros conjuntos de datos hemos obtenido modelos más específicos. Por otro lado, utilizamos una codificación de alto nivel con cinco etiquetas y obtuvimos un nivel de abstracción mayor y modelos más comprensibles y sencillos desde el punto de vista de los supuestos de la teoría de aprendizaje autoregulado. Finalmente, la utilización de diferentes métricas de evaluación de los modelos obtenidos nos sirvió para contrastar de manera empírica tres importantes conclusiones: en primer lugar, con el algoritmo Inductive Miner obtenemos los mejores resultados en la medida del ajuste. En segundo lugar, los resultados obtenidos en el balanceo de las métricas de calidad (overall) son mejores en el Inductive Miner que en otros algoritmos tradicionales de minería de procesos en educación. Por último, los resultados obtenidos en las métricas, analizadas en conjunto o individualmente, son aún mejores en los conjunto de datos que estaban agrupados.The development of the integration between technology and learning systems allows us to trace all the actions that students perform when they interact with virtual learning environments. These virtual teaching platforms store all the activities in files or databases that, correctly processed, can provide very useful information for decision making and answer questions from teachers in order to improve the quality of the teaching-learning process. In order to understand the patterns or routes followed by students during the learning process, educational data mining techniques are being implemented exponentially on the event logs of these platforms. In this thesis we use educational process mining techniques on learning management systems, particularly Moodle, an emerging discipline strongly related to educational data mining. Currently, Moodle does not provide specific visualization tools for the data generated by students that allow educators to understand this large amount of information, and become aware of what is happening during the learning process. Therefore, the general objective of this thesis has been to discover models of processes about students’ interactions; going from the records of events generated by students in the Moodle platform to general, visual, reliable, and easily readable models. In order to achieve this goal, firstly, we carried out a bibliography search study on educational process mining. Once a state of the art was carried out, we proposed a high level coding of the low level events that the Moodle platform provides about student interaction. In addition, we grouped and divided student data based on different criteria (final marks and units of knowledge). Finally, we compare the different process mining algorithms used in education based on their quality measures. Our datasets come from graduate students from a university in the north of Spain, where several process mining discovery algorithms have been applied along with different methodologies based on grouping techniques. The discovery algorithms used are Alpha Miner, Heuristic Miner, Evolutionary Tree Miner, and Inductive Miner. The grouping methodologies used are done manually (by marks and by units of knowledge) and automatically (variables related to the interaction of students in Moodle). Likewise, we carry out experiments grouping by units to be able to analyze more exhaustively the behavior of the students and we used high level coding with five action labels in order to produce more easily understandable models in accordance with assumptions of self-regulated learning. The research tool used for our research has been ProM. After developing the state of the art about educational process mining we concluded which algorithms and tools were most used and with the best results. It was observed that the algorithms Alpha Miner, Heuristic Miner, and Fuzzy Miner were the algorithms most used to discover learning models, and specifically Heuristic Miner was the one that showed the best results. Later, we discovered that with the new Inductive Miner algorithm, better results could be obtained than with these traditional algorithms, including Heuristic Miner. Furthermore, we successfully proposed different types of groupings (manual and automatic) to improve educational process mining models and, at the same time, optimize the performance (metrics) and the comprehensibility (size) of the models. In addition, the tests were conducted by units of knowledge, and we managed to analyze in deeper the behavior of the students. With this way of dividing our data sets we have obtained more specific models. On the other hand, we used a high level coding with five labels, and we obtained a higher level of abstraction and more understandable and simple models from the point of view of the self-regulated learning theory. Finally, the use of different evaluation metrics of the models obtained let us to empirically contrast three important conclusions: Firstly, with the Inductive Miner algorithm we obtain the best results in the adjustment measure; secondly, the results obtained in the balancing of the quality metrics (overall) are better in the Inductive Miner than in other traditional educational process mining algorithms; finally, the results obtained in the metrics, analyzed together or individually, are even better in the data set that were grouped

Aplicando minería de datos para descubrir rutas de aprendizaje frecuentes en Moodle

In this paper, we apply techniques data mining to discover common learning routes. We have used data from 84 undergraduate college students who followed an online course using Moodle 2.0. We propose to group students firstly starting from data about Moodle’s usage summary and/or the students’ final marks in the course. Then, we use data from Moodle’s logs about each cluster/group of students separately in order to be able to obtain more specific and accurate process models of students’ behaviour.En este artículo, aplicamos técnicas de minería de datos para descubrir rutas de aprendizaje frecuentes. Hemos utilizado datos de 84 estudiantes universitarios, seguidos en un curso online usando Moodle 2.0. Proponemos agrupar a los estudiantes, en primer lugar, a partir de los datos de una síntesis de uso de Moodle y/o las calificaciones finales de los alumnos en un curso. Luego, usamos los datos de los logs de Moodle sobre cada cluster/grupo de estudiantes separadamente con el fin de poder obtener más específicos y  precisos modelos de procesos del comportamiento de los estudiantes

ANÁLISIS DEL NIVEL DE ATENCIÓN DE LOS ALUMNOS EN CLASE UTILIZANDO NEUROSKY’S MINDWAVE MOBILE

This paper describes a specific Android software to the NeuroSky’s MindWave Mobile device in order to measure the students’ attention level during the traditional theory and practical classroom sessions. Using this software we can monitor to a group of students carried out the device in their heads as a typical headphones. This software will gather on real time all the information about the attention level directly on the smartphone of each student. Starting from this information, instructors can analyse and determine in which sessions the students has shown more or less attention, in which slides or contents has shown more or less attention, which comments in classroom generate a higher attention, which students show a higher attention in theory or practical sessions, etc. and so, they can determine some possible actions in order to try to increase the attention level in classroom.Este artículo describe un software en Android específico para el dispositivo NeuroSky’s MindWave Mobile, con el que poder medir el nivel de atención de los estudiantes de grado en informática durante las sesiones tradicionales de clases teóricas y prácticas. Utilizando este software se podrá monitorizar a un grupo de alumnos que portarán el dispositivo en sus cabezas como si fueran unos típico auriculares de escuchar música. El software específico desarrollado irá recogiendo en tiempo real la información sobre el nivel de atención directamente desde el propio teléfono móvil de alumno. A partir de esta información los profesores pueden analizar y determinar: en que sesiones los alumnos han mostrado más o menos atención, en que momentos de cada clase muestran más o menos atención, que transparencias o contenidos son en las que muestran más o menor atención, que comentarios producen mayor atención o menor atención en clase, que alumnos muestran más atención en teoría o en práctica, etc. y por tanto se podrán determinar multitud de posibles acciones para intentar aumentar el nivel de atención de los alumnos durante sus clases